1 模型 统计背景

回顾 前面的定义, 协方差分析组合了方差分析和回归分析. 它的模型形如 $$\begin{array}{}\text{(1.1)}& y=X_1\beta +X_2\gamma +\epsilon ,\end{array}$$ 这里 ${\displaystyle X_1\beta }$ 对应属性因子的部分 (${\displaystyle X_1}$ 是 ${\displaystyle 0-1}$ 矩阵), 称为方差分析部分; ${\displaystyle X_2\gamma }$ 对应数量因子部分, 称为回归分析部分. 假设 ${\displaystyle \mu (X_1)\cap \mu (X_2)=\{0\}}$, ^[1] ${\displaystyle X_2}$ 满列秩.

从试验角度, ${\displaystyle X_1\beta }$ 反映了人们精心设计、严格控制的部分, ${\displaystyle X_2\gamma }$ 则是人们无法掌控的因素.
最简单的例子就是在 单向分类模型 中添加一个因子的回归项: $$y_{ik}={\beta }_0+{\beta }_i+x_{ik}\gamma +{\epsilon }_{i{k}_i},i=1,\cdots ,r,k_i=1,\cdots ,n_i,$$ 这里 ${\displaystyle n=\sum _{i=1}^r{n}_i}$.

对于写方差模型中的回归项, 我们可以定义为干扰变量. 它在 因果推断 中有进一步的讨论. 例如, 处理对茶树产量影响模型中, 干扰变量可以是接受处理前的产量; 饲料对小猪增重影响的模型中, 可以是小猪的初重.

2 基本方法

修改模型 (1.1) 为 $$y_{\ast }=X_1\beta +\epsilon ,$$ 其中 ${\displaystyle y_{\ast }=y-X_2\gamma }$. ^[2] 这里 ${\displaystyle y_{\ast }}$ 含了未知参数 ${\displaystyle \gamma }$, 所以不能视为观察值向量. 处理方法是我们给 ${\displaystyle \gamma }$ 一个适当的估计量 ${\displaystyle \hat{\gamma }}$ 来代替, 从而得到 $$\begin{array}{}\text{(2.1)}& z=X_1\beta +{\epsilon }_1,\end{array}$$ 这里 ${\displaystyle z=y-X_2\hat{\gamma }}$.

对于 ${\displaystyle \hat{\gamma }}$ 的估计, 可以由消去方差分析部分的 (1.1) $$P_{X_1^2}y=P_{X_1^2}{X}_2\gamma +P_{X_1^2}\epsilon$$ 估出. 它的正规方程是 $$X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2\hat{\gamma }=X_2^{\mathrm{T}}{P}_{X_1}^{2}y.$$ 不难看出$$\begin{array}{rl}& \mathrm{rank}(X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2)=\mathrm{rank}(P_{X_1^2}{X}_2)\\ =& \mathrm{rank}{X}_2-\dim (\mu (X_1)\cap \mu (X_2))=\mathrm{rank}{X}_2,\end{array}$$ 从而$$\begin{array}{rl}& \hat{\gamma }=(X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2{)}^{-1}{X}_2^{\mathrm{T}}{P}_{X_1^2}y\\ \Rightarrow & z=[I-X_2(X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2{)}^{-1}{X}_2^{\mathrm{T}}{P}_{X_1^2}]y.\end{array}$$
因此 ${\displaystyle X_2\gamma }$ 已经被消除, 可以用纯方差分析模型 (2.1) 进行. 此时剩余平方和为 $$\begin{array}{rl}{\mathrm{SS}}_{{\epsilon }^{\ast }}& =||P_{X_1^2}z|{|}^2\\ & =||[P_{X_1}^2-P_{X_1^2}{X}_2(X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2{)}^{-1}{X}_2^{\mathrm{T}}{P}_{X_1^2}]y|{|}^2\\ & =y^{\mathrm{T}}{P}_{X_1^2}y-y^{\mathrm{T}}{P}_{X_1^2}{X}_2(X_2^{\mathrm{T}}{P}_{X_1^2}{X}_2{)}^{-1}{X}_2^{\mathrm{T}}{P}_{X_1^2}y\\ & =y^{\mathrm{T}}{P}_{X_1^2}y-y^{\mathrm{T}}{P}_{\mu }y,\end{array}$$ 这里 ${\displaystyle \mu =\mu (P_{X_1^2}{X}_2)}$.
如果不引进协同变量, 相当于在最开始令 ${\displaystyle \gamma =0}$, 此时 ${\displaystyle {\mathrm{SS}}_{{\epsilon }^{\ast }}=y^{\mathrm{T}}{P}_{X_1^2}y}$, 故 ${\displaystyle y^{\mathrm{T}}{P}_{\mu }y}$ 这一项可以看作引进协同变量后精度方面的收获. 而对 (2.1) 做分析时候一定会出现 ${\displaystyle X_2^{\mathrm{T}}{P}_{X_1^2}y}$ 这样的量, 就像 ${\displaystyle X_2,y}$ 的样本协方差, 所以也称为协方差分析.

2.1 显著性检验

设 ${\displaystyle X_2}$ 为 ${\displaystyle q}$ 列, 则同样可以考虑假设 $$H_0:{\gamma }_{k+1}=\cdots ={\gamma }_q=0.$$ 记 ${\displaystyle X_2=(X_{21}{X}_{22})}$, 其中 ${\displaystyle X_{21}}$ 为 ${\displaystyle k}$ 列. 则 ${\displaystyle H_0}$ 成立时, 模型为 $$y=X_1\beta +X_{21}{\gamma }_{(1)}+\epsilon ,{\gamma }_{(1)}=({\gamma }_1,\cdots ,{\gamma }_k{)}^{\mathrm{T}}.$$ 它的剩余平方和 ${\displaystyle {\mathrm{SS}}_0=||P_{(X_1{X}_{21}{)}^{\perp }}y|{|}^2}$. 而 (1.1) 的剩余平方和为 ${\displaystyle {\mathrm{SS}}_{\epsilon }=||P_{(X_1{X}_2{)}^{\perp }}y|{|}^2}$.
令 ${\displaystyle {\mathrm{SS}}_{\mathrm{H}}={\mathrm{SS}}_0-{\mathrm{SS}}_{\epsilon }}$, 知 ${\displaystyle {\mathrm{SS}}_{\mathrm{H}}\perp \perp {\mathrm{SS}}_{\epsilon }}$.
记 ${\displaystyle \mathrm{rank}{X}_1=r}$, 则 $$F=\frac{{\mathrm{SS}}_{\mathrm{H}}}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-r-q}{q-k}\sim F_{q-k,n-r-q,\delta }$$ 为检验量. ${\displaystyle H_0}$ 成立时 ${\displaystyle \delta =0}$. 得到拒绝域 ${\displaystyle \{F\ge F_{q-k,n-r-q}(\alpha )\}}$.